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Prufungsantrag gem. § 44 PatG ist gesteltt 

<§) Verfahren und Einrichtung zum Koppeln ernes Visual Browsers m'rt einem Voice Browser 

@ Ein Verfahren und eine Einrichtung zum g letch zeiti gen 
Zugrerfen auf netzbasierte elektronische Inharte in einem 
Voice Browser und einem Visual Browser kann die Schrft- 
te des Abrufens etnes netzbasterten Dokumens, das fur 
die Darstelung im Visual Browser formatiert ist, des Iden- 
tiftzierens eines Bezugs auf den Voice Browser in dem ab- 
gerufenen Dokument, wobet der Bezug elektronische In- 
harte spezifiziert, die fur die akustische Darstellung im 
Voice Browser formatiert sind, und des Ubertragens des 
Bezugs an den Voice Browser umfassen. Der Voice 
Browser kann die spezrfmerten elektronischen Inharte ab- 
rufen und die elektronischen Inharte akustisch da rstel I en. 
Gleichzertig kann der Visual Browser das netzbasierte Do- 
kument, das fur die visuelle Da rstel lung im Visual 
Browser formatiert ist, visuell da rstel I en. Ebenso kann 
das Verfahren der Erfindung die Schhtte des Abrufens ei- 
nes netzbasierten Dokuments, das fur die akustische Dar- 
steltung im Voice Browser in dem abgerufenen Doku- 
ment wobei der Bezug die elektronischen Inhalte spezifi- 
ziert, die fur die vtsuelle Darstellung im Visual Browser 
formatiert sind, und des Ubertragens des Bezugs an den 
visual Browser umfassen. Der Visual Browser kann die 
spezifizierten elektronischen Inharte abrufen und die spe- 
zifizierten elektronischen Inhalte visuell da rstel len. 
Gleichzertig kann der Voice Browser das netzbasierte Do- 
kument, das fur die akustische Darstellung im Voice 
Browser formatiert ist, akustisch da rstel len. 
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Beschreibung 

HINTERGRUND DER ERPINDUNG 

5 Technisches Gebict 

[0001] Diese Erfindung betrifft das Duichsucben von Detzbasierten ele^troaiscbeD Inhalten unci insbesondere ein \fer- 
fahren und cine Einrichtung zum Koppeln eines Visual Browsers mit eioem Voice Browser. — 

10 Beschreibung dcr zugrunde liegendcu Tcchnik 

[0002] Visual Browser sind Anweodungen, die einen visuellen Zugang zu netzbasierten elektroniscben Inhallen er- 
moglichen, die in einem ComputerkommunikalioQsrjetz zur Vcrfugung gestcllt werden. Eine Art von Visual Browsem, 
der Web- Browser, diem zum Auffindeo und Darstelleo von netzbasierten elektroniscben Inhallen, die mit der Forma tic- 

ts rungsspracbe HyperText Markup Language ("HTML") fcrmatiert sind. Zwei weit verbreitete Web- Browser sind Netsca- 
pe 9 Navigator 9 und Microsoft 9 Internet Explorer 9 . Dcr Begriff "Visual Browser" bedeutet insbesondere, dass der 
Browser Grafiken, Text oder eine Kombmaoon von Grafiken und Tex ten darsteUen kann. Daruber hinaus konnen die 
meisten Visual Browser Mn 1 ri medi a-Informabonen, einschbefilich Klang und Video, darsteUen, obwohl einige Visual 
Browser zur Unterstutzung besnmrnter Mulrimedia-mfcrmationsfccmate Plug-Ins erfordern konnen. 

20 [0003] Im Gegensatz zu typischen Visual Browsem, die in einer Desktop-Umgebung arbeiten, sind Visual Browser mit 
kompcinrjerter HTML C compressed HTML, C-HTML") zur Verarbeitung von HTML-form atiexten Dokumenten in Um- 
gebungen mit geringer Bandbreifie entstanden. Genau gesagt sind C-HTML- formarierte Dokumente HTMI^formatiertc 
Dokumente, die vor der Dbcrtragung komprinnert wurden. C-HTML-gemafie Visual Browser konnen C-HTML-forma- 
tierte Dokumente vor deren DarsaeUung defcomrjrmueren. Beispielhafte C-HTML- Visual Browser sind fur das Betriebs- 

25 system QNX 9 Neutrino 9 von QNX Software Systems, Ltd. of Kanata, Ontario, implementiert worden. 

[0004] Anders als ein Visual Browser erlaubt es ein Voice Browser einem Benutzer nicht, mit netzbasierten elektroni- 
scben Tnhahm visuell zu interagieren. Vidznehr kann ein Voice Browser, der mit einer Srxacberkennungseiribeit und 
Spracbsyntfaesecinbcit ™**mwm*** ar beiten bum, dem Benutzer ermoglicnen, mit netzbasierten elektroniscben Inhallen 
akustisch zu interagieren. D. h_, der Benutzer kann Sprachbefehle eingeben, urn von einem netzbasierten elektroniscben 

30 Dokument zum anderen zu navigieren. Ebenso ko nnen dem Benutzer netzbasierte elektronische Inhalte akustisch darge- 
stellt werden, ubl k-h e i w cise in Form von synlhed skater Sprache. Somit konnen Voice Browser Spracheingabe und inter- 
aktive Sprachausgabe fur netzbasierte eiektronische Inhalte und Anweodungen zur Vferfiigung stellen, z. B. per Telefon, 
PDA (Personal Digital Assistant) oder Desklor>0>mputer. 

[0005] Es ist von Bedeutung, dass Voice Browser fur die Interaktion mit netzbasierten elektroniscben Inhalten, die in 
35 YriceXML kodiert sind, konfiguriert werden konnen. VbiceXML ist eine Formatierungssprache fur verteille Sprachan- 
wendungen, die auf der erweiterbaren Formanerungssprache ("Extended Markup Language, XML") basiert, ahnlicb wie 
HTML eine Formarierungsspracbe fur verteilte visueUe Anweodungen ist NfoiceXML ist zur Erstellung von Audio-Dia- 
logen konzipiert, die synthetisierte Sprache, digitalisierte Tone, Erkennung von gesprochenen und Zweiton-Multifro- 
quenz Tastatureingaben (Dual Tone Multirrequency, "DTMF"), Aufnahme gesprochener Eingabe, Telefonie und ge- 
40 rruscbt-initiierte Konversatiooen aufwexsen. Vfersion 1.0 der VMceXML-Spezifikation wurde vom VbiceXML -Forum im 
Dokument Voice extensible Markup Language OfoiceXML™) version 1.0, (W3C Mai 2000) von Linda Boyer, Peter 
Danielscn, Jim Ferrans, Gerald Karam, David Ladd, Bruce Lucas und Kenneth Rehor veroffentlichu das durch die Be- 
zugnahme Bestandteil dieses Patents isL Daruber hinaus wurde Version 1.0 der VoiceXML-Spezirikatioo dem World 
Wide Web Consortium durch das VbiceXML Forum vorgelegt und wurde von diesem als ein vorgeschlagener Indus trie- 
45 standard akzepberL 

[0006] Bemerkenswerterweise wurden die Fahigkeiten von Visual Browsem nicht mit den Fahigkeiten von Voice 
Browsem kombiniert, damit ein Benutzer von beiden mit netzbasierten elektroniscben Inhalten gleichzeitig interagieren 
kann. D. b., bis jetzt wurde keine Losung zur Vafugung gestellt, die es einem Benutzer erlaubt, mit netzbasierten elek- 
tronischen Inhalten in einem Visual Browser zu interagieren, wahrend er auch mit netzbasierten Audio-Inhalien in einem 

50 Voice Browser einen Dialog fuhrt Gegenwartige Anstrengungen, einen Browser zur Vferfugung zu stellen, der mit netz- 
basierten visuellen und akustischen Inhalten interagieren kann, sind auf die Kodierung von Sprachsynthese-Funktionali- 
tat in existierende Visual Browser beschrankt, urn einen sprachsensitiven Visual Browser zu erzeugen. AuBerdem wur- 
den neue sprachbezogene Formatierungsbefehle fur Visual Browser v org esc blag en, um fur einen Visual Browser 
Srjrachrunktionalitat zur Vcrfugung zu stellen. 

55 [0007] Diese Ldsungen erfordern immer nocb, dass der, der sie implementiert, einen Satz an sprachsensitiven Funktio- 
nen zur Behandlung von netzbasierten Sprachinhalien entwickelt und diesen direkt in den Quellcode des Visual 
Browsers integriert. Folglich ist die Entwicklung sprachbezogener Funktionalitat eng mit der Entwicklung der restlicnen 
Funktionalitat des Visual Browsers verb linden. SchlieBlich hindert die enge Integration des Visual Browsers und der 
sprachsensitiven Funktionalitat den Benutzer daran, einen separate n, stabilcrcn und cflizicnteren Voice Browser zu vcr- 

60 wenden, der einen Funktionssatz hat, der fur die Interaktion mit netzbasierten Sprachinhalien nutzlich ist. Daber wird ein 
Verfahren und eine Einrichtung zum Koppeln eines Visual Browsers mit einem Voice Browser benotigt, sodass die Kom- 
bi nation des Visual Browsers und des Voice Browsers netzbasierte elektronische Inhalte gleichzeitig visuell und sprach- 
licb durchsucben kann. 

65 UBERBLICK UBER DIE ERFINDUNG 

[0008] Die vorliegende Erfindung ist ein Verfahren und eine Einrichtung zum gleichzeitigen Zugreifen auf netzbasierte 
elektronische Inhalte in einem Voice Browser und einem Visual Browser. Das Verfahren kann die Schritte des Abrufens 
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ernes netzbasierten Documents, das flir die Anzeige im Visual Browser formatiert ist, des Identiftziercns eines Bezugs 
auf den Voice Browser in dem abgerufeoeo Dokument, wobei der Bezug elekxroniscbe Inhalte, die fur die akustiscbe 
Darstellung im Voice Browser formatiert sind, spezifiziert, und des tJbcrtragcns dcs Bezugs an den Voice Browser um- 
fassen. Der Voice Browser kann die spezifizicrten elektrooiscbeo Inhalte abrufeo und die elekxronischen Inhalte aku- 
susch darstellen. Gleichzeitig kann der Visual Browser das netzbasierte Dokument, das fur die visuelle Darstellung im s 
Visual Browser formatiert ist, visuell darstellen. ' _^ 

[0009] In einer bevorzugteo Austuhrungsart der vorbegenden Erfindung kann das netzbasierte Dokument, das fur die 
visuelle Darstellung im Visual Browser formatiert ist, ein HTML-Dokument sein und der Visual Browser kann ein Web- 
Browser sein. Genauso konnen die elektronischen Inhalte, die fur die akusdsche Darstellung im Voice Browser forma- 
tiert sind, VbiceXMLrformatierte eleklronische Inhalte sein. In dem Fall, dass das netzbasierte Dokumcnt ein HTML- 10 
Dokument ist, kann der Bezug ein KoccdinatkxKfccxnaneriingsattribut sein. 

[0010] Es ist bedeutsam, dass der Bezug ein netzbasiertes Dokument spezifizieren kann, das die elektronischen Inhalte 
enthalt, die fur die akustiscbe Darstellung im Voice Browser formatiert sind. Fblglich kann der Voice Browser das spezi- 
fizierte netzbasierte Dokument uber das Ccqnxiterkc*nmiimkariansoe& abrufen und die elektronischen Inhalte, die in 
dem spezifizierten netzbasier t en Dokument enthalten sind, akustiscb darstellen, wahrend der Visual Browser das netzba- ts 
sierte Dokument, das fur die visuelle Darstellung formatiert ist, visuell darstellen kann. 

[0011] In einer alternatives Austuhrungsart kann ein Vferfahren zum gleichzeitigen Zugreifen auf netzbasierte elektro- 
niscbe Inhalte in einem Voice Browser und einem Visual Browser die Schritte des Abrufens eines netzbasierten Doku- 
ments, das fur die akusdsche Darstellung im Voice Browser formatiert ist, des Identifizierens eines Bezugs auf den Visual 
Browser, wobei der Bezug die elektronischen Tnhahr spezifiziert, die fur die visuelle Darstellung im Visual Browser for- 20 
mabert sind, und des Ubertragens des Bezugs an den Visual Browser umfassen. Der Visual Browser kann die spezinzier- 
ten elektronischen Inhalte abrufen und die spezihzierten elektronischen Inhalte visuell darstellen. Gleichzeidg kann der 
Voice Browser das n e tzbasi erte Dokument, das fur die a kusriscbe Darstellung im Voice Browser formatiert ist, akustiscb 



[0012] Genauer gesagt, das netzbasierte Dokument, das fur akusdsche Darstellung im Voice Browser formatiert ist, 25 
kann ein VoiceXMLrformatiertes Dokument sein. Darubcr hinaus konnen die elektronischen Inhalte, die fur die visuelle 
Darstellung im Visual Browsei formatiert sind, HTMLfbrmaberte elektroniscbe Inhalte sein und der Visual Browser 
kann ein Web-Browser sein. Bedeutsamcrwcise kann der Bezug ein netzbasiertes Dokument spezifizieren, das die elek- 
tronischen Inhalte enthalt, die fur die visuelle Darstellung im Visual Browser formatiert sind. In diesem Fall kann der Vi- 
sual Browser das spezifizierte netzbasierte Dokument uber das Cf CT p it * >J *c rWT,¥ """* >ri>rtr * iqi< ^ abrufen und die elektro- 30 
nischen Inhalte die in dem netzbasierten Dokument j»ith*it-r» sind, visuell darstellen, wahrend der Voice Browser das 
netzbasierte Dokument, das fur die a kusrische Darstellung formatiert ist, akustisch darstellen kann. 
[0013] Ein Multi-Modus-Browser fur die Duzchfunrung des Vfcrfahrens der Erfindung kann einen Visual Browser zur 
visuellen DarsteUung der visuellen Inhalte, die von einem Computerkrmimiinikarionsnetz abgerufen wurden, einen Voice 
Browser zur akusnschen Darstellung der Sprachinhalte, die von dem Computerkommurrikarionsnetz abgerufen wurden, 35 
und eine Kcoptungsschni rt steue zur Synchronisation der visuellen und akusnschen Darstellung der visuellen und der 
Sprachinhalte im Visual bzw. Voice Browser umfassen. 

[0014] Insbesondere konnen die visuellen Inhalte HTML-formatierte Inhalte und die Sprachinhalte VoiceXMLrforma- 
tierte Inhalte sein. 

[0015] Zusatzlich kann der Multi-Modus-Browser eine Steuerroutine fur zeitkritische Ereignisse umfassen. Die Steu- 40 
erroutine fur zeitkritische Ereignisse kann zeiikritische Inhalte empfangen, in zeitkritischen Inh alien einen Inhaltstyp-In- 
dikator identifizieren, die zeitkritischen Inhalte an den Visual Browser weiterieilen, wenn der Inhaltstyp-Indikator visu- 
elle Tnhaltg anzeigt, und die zeitkritischen Inhalte an den Voice Browser weiterleiten, wenn der Inhaltstyp-Indikator 
Sprachinhalte anzeigt 

[0016] Ein Verfahren zum Andern eines netzbasierten Dokuments zur Unterstutzung des gleichzeitigen Zu griffs auf 45 
netzbasierte Spracb- und visuelle Tnhalte in einem Voice Browser und einem Visual Browser kann die Schritte des Inte- 
grierens von visueuen Inhalten in einem netzbasierten Dokument, des FormaUerens des netzbasierten Dokuments fur die 
visuelle Darstellung in einem Visual Browser, und des Einfugens von mindestens einer Fccmatierungskennung in das 
netzbasierte Dokument umfassen. Die Formatierungskennung kann ein Koordinationsformatierungsattribut enthalten, 
das ein netzbasiertes Dokument, das fur die akusdsche Darstellung in einem Voice Browser formatiert ist, spezifiziert. 50 
Als Ergebms kann der Visual Browser bei der Wiedergabe des netzbasierten Dokuments, das fur die visuelle Anzeige 
formatiert ist, das KoocxhiiaticrafoiTnatierungsat^ in der Formatierungskennung identifizieren und einen Bezug auf 
das spezifizierte netzbasierte Dokument an den Voice Browser ubertragen. Folglich kann der Voice Browser das spezifi- 
zierte netzbasierte Dokument abrufen und das spezifizierte netzbasierte Dokument gleichzeitig zur visuellen Darstellung 
des netzbasierten Dokuments, das fur die visuelle Darstellung im Visual Browser formatiert ist, akustiscb darstellen. In 55 
dem bevorzugteo Vferfahren kann das netzbasierte Dokument, das fur die visuelle Darstellung in einem Visual Browser 
formatiert ist, ein HTML-Dokument sein und der Visual Browser kann ein Web-Browser sein. Ebenso kann das netzba- 
sierte Dokument, das fur akustiscbe Darstellung in einem Voice Browser formatiert ist, ein VoiceXML-formatiertes Do- 
kumcnt sein und der Voice Browser kann ein VoiceXML-Browser sein. 

[0017] Ein Verfahren zum Andern eines netzbasierten Dokuments zur Unterstutzung des gleichzeitigen Zu griffs auf 60 
netzbasierte Spracb- und visuelle Inhalte in einem Voice Browser und einem Visual Browser kann auch die folgenden 
Schritte umfassen: Integrieren von Sprachinhalten in ein netzbasiertes Dokument; Formatieren des netzbasierten Doku- 
ments fur die akustiscbe Darstellung in einem Voice Browser; und Einfugen von mindestens einer Formatierungsken- 
nung in das netzbasierte Dokument. Die Formatierungskennung kann ein Kooidmationsfonnatierungsattribut enthalten, 
das ein netzbasiertes Dokument, das fur die visuelle Darstellung in einem Visual Browser formatiert ist, spezifiziert Als 65 
solches kann der Voice Browser bei der Wiedergabe des netzbasierten Dokuments, das fur die akusdsche Darstellung for- 
matiert ist, das Kcordinatioosformatieinngsattiibut in der Formatierungskennung identifizieren und einen Bezug auf das 
spezifizierte netzbasierte Dokument an den Visual Browser ubertragen. Folglich kann der Visual Browser das spezifi- 
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zierte netzbasierte Dokument abrufeo und das spczifiziene netzbasierte Dokument gleiebzeitig zur akustischen Darstel- 
lung dcs netzbasierten Documents, das fur die akustiscfae DarsteUung im Vbice Browser formatiert ist, visuell darstellen. 
In cincr be v oral glen Ausfuhrungsart des Verfahrens kann das netzbasicrte Dokumcnt, das fur die visucllc Darslcllung im 
Visual Browser formatiert ist, ein HTMI^formanertes Dokument sein und der Visual Browser kann ein Web-Browser 
5 sein. Ebenso kann das oetzbasierte Dokumcnt, das fur die akustische DarsteUung in einem Vbice Browser formatiert ist, 
ein VbiceXML-forrnaDertes Dokumcnt sein und der Voice Browser kann ein VoiceXML-Browser sein. 

KURZBESCHREEBUNG DER ZEICHNUNGEN =— --■=--- - - 

10 [0018] In den Zeichnungen sind Ausfuhrungsarten gezeigt, die gegenwartig bevorzugt wcrden, cs vcrstcfat sich jedoch, 
dass die Erfindung nicht auf die gezeigteo exakteo Anordnungen und Mittel beschrankt ist. 

[0019] Fig. I ist cine schematise he DarsteUung eines Servex-Computersy sterns, das elektronisebe Inhalte zur Verfu- 
gung steUt, die fur die visuelle DarsteUung in einem Visual Browser auf einem Client-System formatiert sind, und eines 
Server-Computersystems, das ekktro ms cfae Inhalte zur Vexfugung steUt, die fur die akustische DarsteUung in einem 
IS Voice Browser auf einem Client -System formatiert sind. 

[0020] Fig. 2 ist cine hierarchiscbe DarsteUung cincr Arcbitekfiir, die fur die Verwendung im Nctz von Fig. 1 gecignet 
ist, in dean das Chert-Computersystem einen Visual Browser und einen Vbice Browser koppeln kann, sodass beide 
gleiebzeitig auf netzbasicrte ekktromsche Inhalte im Netz zugreifen konnen. 

[0021] Fig. 3 ist cine MuJti-Modus-Browser-Arrrritektur zur Implementierung des Verfahrens der Erfindung. 

20 

DETAILUERTE BESCHREIBUNG DER ERFINDUNG 

[00(22] Die vorncgeode Erfindung ist can Vcrfabrcn und cine Hnrichtung zum Koppeln eines Visual Browsers mit ei- 
nem Voice Browser, sodass beide gleiebzeitig auf netzbasicrte elektronisebe Inhalte in einem Computericommunilcati- 

25 onsnetz auf koocrHmcrte und sicb ergaczende Wase zugreifen konnen Das Verf ahren und die Einrichtung der Erfindung 
sorgen fur einen naultHnodaden Aspckt, in Foigc dessen die Funktiooen des visuellen und sprachUchen Durcbsucbens 
syn c hronisicrt mdm knrtnm, obnc dass cm sriMiMrr Miscb-Browser entwickeU werden muss und oboe dass 

neue S pracfabebaa>dhjngs>ea fahrcn dircki in eaostierende Visual Browsei kodiert werden mussen. Vielmehr kann ein un- 
abnangiger Visual Browser chars einen Bezug. der in cancan Detzbasierten Dokumcnt eingebettet ist, das dutch den Vi- 

30 sual Browser abtufbai ist, an eines unabhaogigca Voice Browsea gekoppelt werden. Umgekehrt kann ein unabhangiger 
Voice Browser durch einen Bezug, der in cancan Detzbasierten Dokumcnt eingebettet ist, das durch den Vbice Browser 
abrufbar ist, an einen unabhangigen Visual Browser gekoppelt wcrden. In beiden Fallen werden existierende Kcrmungen, 
die durcb existierende Formabcrungsspracbcxi defimert sind, verwendet, start dass die Browser-Funknooalitat geandert 
wird, urn die Koppiung des Voice Browsers und des Visual Browsers zu ermog lichen. 

35 [0023] In der bevorzugten Ausfuhrungsart kann ein netzbasiertes Dokument, das fur die Anzeige in einem Visual 
Browser formatiert ist, von cincr OieUe im Computerkommiinikarionsnetz abgerufen werden. Ein Bezug auf einen Vbice 
Browser kann im abgerufenen Dokument, in dem der Bezug elektronisebe Inhalte spezifiziert, die fur die akustische Dar- 
steUung in dem Vbice B r o w ser formatiert sind, identifiziert wcrden. AnschlieBend kann der Bezug an den Vbice Browser 
ubertragen werden. Als Ant wort auf den Empfang des ubertragenen Bezugs kann der sprachgesteuerte Browser daraus 

40 die spezifizierten elektroniscben Inhalte extxahieren und die elektronischen Inhalte akustisch darstellen, wahrend der Vi- 
sual Browser gleiebzeitig die elektroniscben Inhalte, die in dem Detzbasierten Dokument en thai ten sind, visuell darstellL 
[0024] Fig. 1 zcigt cine Nctzumgebung, in der das Vfcrfahren der Erfindung durehgefuhrt werden kann. Diese Nelzum- 
gebung umfasst ein Computerkom m u ni karioosnetz 10, das einen Client-Computer 1 und die Server 20 und 30 verbindet, 
wobei die Server 20 und 30 mindestens einen Server fur Sprachinhalt und mindestens einen Server fur visuellen Inhalt 

45 umfassen. Bcdeutend ist, dass die Erfindung in Hinbhck auf die Anzahl der Server-Computer, die zur Versorgung des 
Client-Computers 1 mit Detzbasierten Spracfainnalten und Detzbasierten visuellen Inhalten erfordcrUcb ist, nicht be- 
schrankt isL In einer Ausfuhrungsart der vorliegenden Erfindung kann namlich ein einzelner Server-Computer dem 
Client-Computer 1 sowohl Spracb- wie auch visuelle Inhalte he fern. Trotzdem wird zur Leichteren DarsteUung und Dis- 
kussion jeweils ein separater Server-Computer fur das Bercitstellen von Sprach- und visuellen Inhalten fur die anfordern- 

50 den Client-Computer gezeigt. 

[0025] Das Computerkommunikationsnetz 10 kann jedes nicht offentlich zugangUche Netz wie z. B. ein lokales Netz 
(local area network, LAN) obex ein Writverkehrsnetz (wide area network, WAN) oder vorzugsweise das Internet sein. Im 
Betrieb kann der Client-Computer 1 eine Verbindung mit den Server-Co mpu tern 20 und 30 hersteUen, urn eine Anforde- 
rung elektronischer Inhalte, die auf den Server-Cornputem 20 und 30 gespeicbert sind, zu ubertragen. Jeder der Server- 

55 Computer 20 und 30 kann auf die Anforderung durch das BereitsteUen der angeforderten elektroniscben Inhalte fur den 
Client-Computer 1 antworten. Bemerkenswerterweise konnen die elektronischen Inhalte fur die visueUe DarsteUung in 
einem Visual Browser oder fur die akustische DarsteUung in einem Vbice Browser formatiert sein. 
[0026] In der bevorzugten Ausfuhrungsart sind die elektroniscben Inhalte, die fur die visuelle DarsteUung in einem Vi- 
sual Browser formatiert sind, HTML-forrnatierte elektronische Inhalte, die in einem Web-Browser dargcstcUt wcrden 

60 konnen. Ebenso sind in der bevorzugten Ausfuhrungsart die elektroniscben Inhalte, die fur die akustische DarsteUung in 
einem Vbice Browser formatiert sind, VoiceXML-formatierte elektronisebe Inhalte. Die Erfindung ist trotzdem nicht auf 
ein spezieUes Verfahren der Formatierung der elektronischen Inhalte beschrankt. Vielmehr kann jedes gecignete Verfah- 
ren zur Formatierung der visuellen elektronischen Inhalte und der akustischen elektroniscben Inhalte geniigen. Beispiele 
geeigneter alternativer visueUer Fccmatierungsverfahren konnen C-HTML, XML, SGML, VRML, usw. umfassen. 

65 Ebenso konnen Beispiele fur gecignete alternative akustische DarsteUungsverfahren WAV, MPEG, AIFF, etc. umfassen. 
[0027] In Fig. 1 bat der CUent-Computer 1 vorzugsweise eine Zentraleinheit (central processing unit, CPU) 2, eine in- 
terne Speicbereinbeit 3, wie z. B. einen Arbeitsspeicber (random access memory, RAM), und eine feste Speicbereinbeit 
4, wie etwa eine Festplatte (bard disk drive, HDD). Der CUent-Computer 1 umfasst auch Netz-SchnittsteUenschaltkreise 
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(network interface circuitry, NIC) 5 zur Ko mm u nikari orrsanbindung des Client-Computers 1 an das Computerkommuni- 
katioosnetz 10. Optional kann der Client-Computer 1 des Weiteren eine Tastamr 7 und mindestens eine Beoutzerschnitt- 
sieUen-Ajizeigeeinbcit 6, wie etwa ein Vidcoanzeige-Terminal (video display terminal, VDT), umfassen, das daran fur 
den Betrieb zur Interaktioo mit dem Client-Computer 1 angeschlossen ist. Zum Zweck der Wiedergabe des Sprachinbalts 
muss der Client-Computer 1 nicht unbedingt eine Tastatur 7, eine Maus oder eine Anzeigeeinheit 6 besitzen, da diese fiir 5 
die Interaktion mit einern Benutzer uber die Spracbe nicht notwendig sind. Daruber hinaus kann der Client-Computer 1, 
der mit dem Benutzer akustiscb einen Dialog fuhrt, Audioschaltkrelse, einen Lautsprecher und ein Mikrofon umfassen 
(nicht dargestellt). Des Weiteren muss der Client-Computer 1 kein Personal Computer, wie in Fig. hdargestelh, sein . Der- — 
Client-Computer 1 kann vielmehr jede Rechenvorrichtung sein, die solche Audioschaltkreise enthalt und die in der Lage 
ist, mit dem Computerkommimikationsnetz 10 zu kommunizieren, urn die Verfahren der Erfindung auszufuhrcn. to 
[0028] Wie der Client-Computer 1 haben auch die Server-Computer 20 und 30 vorzugsweise Zentraleinbeiten 22 und 
32, interne Speicbervorrichtungen 23 und 33 und feste Speicheranheiten 24 und 34. Jeder der Server-Computer 20 und 
30 umfasst auch Netz- Schiiittstellenschaltkrcise 25 und 35 zur Kommunikanonsanbindung der Server-Computer 20 und 
30 an das Computerkommiimkatkxisnerz 10. Anders als der Client-Computer 1 mussen die Server-Computer 20 und 30 
keine Tastatur oder Vkfeoanzeigeierminal umfassen, da Benutzer mit den Server-Computern uber ein Netz interagieren is 
konnen. In der bevorzugten Ausruhrungsart kann der Server-Computer 20 dem Client-Computer 1 visuelle Inhalte fur 
die Anzeige in einem Visual Browser, die auf dem Client-Computer 1 liegen, zur Verfugung stellen. Gleichzeitig kann 
der Server-Computer 30 dem CUent-Computer 1 Spracfainhalie fur die akustische Darstellung in einem Voice Browser 
auf dem Client-Computer 1 zur 'Verfugung stellen. Die Erfmdung ist trotzdem nicht auf eine bestommte Anzahl an zur 
Verfugung stehenden Server-Computern b es cnra nkl, urn el e ku u ui schc Inhalte fur den Client-Computer 1 bereitzustellen. 20 
In einer alternatives Ausruhrungsart kocmen dem Che&t-Cocnputer 1 sowohl die visuellen Inhalte als auch die Sprachin- 
halte durch einen einzeinen Server-Computer zur Verfugung gestellt werden. 

(0029] In Fig, 2 ist eine hjcrarchischc DarstrThing einer Arrfritrktiir gczeigt, die fur die Vbrwcndung im Netz von Fig. 1 
geeignet ist, in der der CSicnt-Computer einen Visual Browser 12 und einen Voice Browser 13 koppeln kann, sodass 
beide gleichzeitig auf netzbasierte eteklroinscne Inhalte auf den Servern 20 und 30 im Computerkommunikationsnetz 10 25 
zugreifen konnen. Wie in Fig, 2 gezcagt, kann jeder der Server-Computer 20 und 30 ein Betriebssystem (operating sy- 
stem, OS) 21 und 31 umfassen, auf dem die Anwendungen ausgefuhrt werden konnen. Wie nach dem Stand der Technik 
bekannt, kann das Betriebssystem 21 und 31 dazn verwerjdet werden, fur eine darauf laufende Anwendung die Netzkorn- 
mumkation zur Vfcrfugung zu steUen. 

[0030] Der Server-Computer 20 kam cine Server- Anwendung umfassen, die auf Anforderungen nach visuell darstell- 30 
baren cietaroniscnen Inhaltrn antwortet. Genauer gesagt, die Server- Anwendung kann als Antwort auf die empf angenen 
Anforderungen die gewunschten etektrcniscnen Inhalte zur Vfcrfugung stellen. In der bevorzugten Ausruhrungsart ist die 
Server- Anwendung ein Web-Server 26, der den anfexdernden Computem, die zur Kommunikatioo mit dem Computer- 
kommunikationsnetz 10 verbunden sind, HTMLfonriarierte Inhalte zur Verfugung stellen kann. Genauer gesagt konnen 
die HTMI^formanerten Inhalte statiscbe HTMI^Wcbseiten sein, die auf dem Server-Computer 20 gespeichert sind, oder 35 
dynamisch formaherte HTML- Wetrsei tea, die als Antwort auf empfangeoe Anforderungen dynamiscb erstellt werden. 
Alternativ dazu konnen die HTML-fonnatierten Inhalte ein komprimiertes HTML^Dokument sein. 
[0031] Ebenso kann der Server-Computer 30 eine Server- Anwendung umfassen, die auf Anforderungen nach aku- 
srisch darstellbaren elektronischen Inhalten antwortet. Genauer gesagt kann die Server- Anwendung des Server-Compu- 
ters 30, wie der Web-Server 26 auf dem Server-Computer 20, als Antwort auf die empf angenen Anforderungen die an- 40 
geforderten elektronischen Inhalte zur Verfugung stellen. In der bevorzugten Ausruhrungsart ist die Server- Anwendung 
ein VbiceXMl^ Server 36, der anfordernden Cotnpulern, die zur Kommunikatioo mit dem Computerkommunikadons- 
netz 10 verbunden sind, VaiceXMLformaderte TnHahg zur Vfcrfugung stellL Genauer gesagt konnen die VbiceXML-for- 
matierten Inhalte stansche V^ceXMI^Dokurnente sein, die auf dem Server-Computer 30 gespeichert sind, oder dyna- 
misch formatierte V^cxXML-Dokurnente, die als Antwort auf empfangeoe Anforderungen dynamisch erstellt werden. 45 
[0032] In der bevorzugten Ausruhrungsart kann der CUent-Computer 1 ein Betriebssystem (OS) U umfassen, z. B. 
QNX Neutrino, auf dem Anwendungen geladen und ausgefuhrt werden konnen. Zwei solche bevorzugte Anwendungen 
konnen einen Visual Browser 12 und einen Voice Browser 13 einschlieBen. Der Visual Browser 12, z. B. ein Web- 
Browser, kann Benutisranforderungen von Web- Inhalten auf dem Web-Server 26, der mit dem Computerkommunikati- 
onsnetz 10 kommunikanv verbunden ist, annehmen. Als Antwort kann der Visual Browser 12 die Anforderung an den 50 
Web-Server 26 unter Vcrwendung des HyperText Transfer- Protokolls ("HTTP") ubertragen. Der Web-Server 26 kann die 
Anforderung empfangen und kann die an geforderten Web-Inhalte an den Visual Browser 12 ubertragen. Ebenso kann der 
Voice Browser 13 Benutzeranforderungen von VstceXML-Inhalten auf dem Voice XML-Server 36, der mit dem Compu- 
terkomnuinikanonsnetz 10 kommumkahv verbunden ist, annehmen. Bemerkenswert ist, dass die Benutzerarrforderun- 
gen von der Spracherkennungscinheit 15 crkannt werden konnen. Als Antwort kann der Voice Browser 13 ebenf alls un- 55 
ter Verwendung voo HTTP die sprachlich erkannte Anforderung an den \fciceXML- Server 36 ubertragen. Der Vbi- 
ceXML-S erver 36 kann die Anforderung empfangen und die angeforderten VfoiceXML-Inhalte an den Voice Browser 13 
ubertragen. Folglich konnen die akustiscb darstellbaren elektronischen Inhalte der VaiceXML-Seite mittels der Sprach- 
syntheseeinheit 14 dem Benutzer akususch dargestellt werden. Auf diese Weisc kann ein Benutzer des Client-Computers 
1 sowohl visuelle Inhalte mittels eines Visual Browsers 12 betrachten als auch Sprachinhalte mittels ernes Voice 60 
Browsers 13 boren. 

[0033] Wichtig ist, dass ein Benutzer des Client-Computers 1 gleichzeitig sowohl die visuellen als auch die Sprachin- 
halte, die vom Web-Server 26 bzw. VoiceXML-Server 36 zur Verfugung gestellt werden, durchsucben kann. D. h„ das 
Durchsucben der visuellen Inhalte durch den Visual Browser 12 kann mit dem Durchsucben der Sprachinhalte durch den 
Voice Browser 13 uber eine Kopplung der visuellen Browserfunktionalitat des Visual Browsers 12 mil der sprachlich en 65 
Browserfunktionalitat des Voice Browsers 13 synchrooisiert werden. Diese Kopplung kann erreicht werden, ohne dass 
das Design und die Implemenherung eines Browsers fur gemischte Inhalte erforderlich sind. Der Visual Browser 12 kann 
vielmehr an den Voice Browser 13 mittels der in den bereits existierenden Formauerungskennungen als Teil der HTML- 
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uod VbiceXML-Spezifikanoo enthaltenen Koordmauonsformafierungsatmbute gekoppelt werden. 
[0034] Insbesondere konnen in der bevorzugten AusfQhrungsart HTMLformatierte Inhaltc und VfciceXML-formaDerte 
Lnhaltc Kennungen des TVps "co- target" umfasscn, die zum Vferweisen auf andere Browser cntworfen wurdcn. Gcoaucr 
gesagt, in einem HTML- forma tierten Dokument kann eine Anker- FonnatieruDgskennung (anchor) verwendet werden, 
S die ein "brer entbalt, urn die zu ladenden Ziel-Web-Inhalte zu spezifizieren, wenn ein Benutzer den Anker auswahl L Ub- 
licherweise wird eine URL-Adresse (uniform resource locator. URL) Zel-Web-Inhalte in "href spezifizieren. In der be- 
vorzugten AusfQhrungsart kann ein Co-ZieL, das VbiceXML-Inhalie spezTBziert, bekannt als ein "cxihref", in dem Anker 
zusatzlicb zu den Ziel-Web-Inbalten eingebettet sein. £s folgt ein Beispiel eines durcb ein "co in e F spezrfracrten Co— 
Ziels: 

0 <HTML> 



15 



20 



<TITLE>SBU Co-Brows ing-Demonst rat ion</TITLE> 
</HEAD> 

<BODY LEFTMARGIN= "0* TOPMARGIN= "0~> 
<A HREF= "mainmenu . html * 
cohref = 'mainmenu - vxml * > 

<JMG SRC=' r splasttscreen . jpg" WIDTH="314 ' 
25 HEIGHT=-200V></A> 

</BODY> 
</H1ML> 

30 [0035] Wie im obig en Beispiel gezeigt, umfasst der Hyperlink, der durch die Anker- Formatierun g spezifiziert ist, einen 
Verweis sowohl auf eine Ziel- Websti te, die durcb "mainxxkemi Jitml" spezifiziert ist, als auch auf ein Co-Ziel- VbiceXML- 
Dokument, das durch " mainmenu. vxmT spezifiziert ist. Worn der Visual Browser 12 auf cbesen Hyperlink stoBt, kann 
der Visual Browser 12 vom Web-Server 26 die Web-Scite " mainmenu-html" anfordem. Daruber hinaus kann der Visual 
Browser 12 den Co-Ziel-Bezug idrmifiyiercn und den Bezug an den Vbice Browser 13 ubertragen. Der Visual Browser 

35 12 kann den Bezug an den Voice Browser 13 uztter Verweodung der Metbode visit( ), die in der veroff entlichten Anwen- 
dungsprogrammierschnittstclle (applications programming interlace, API) des \foice Browsers 13 entbaltcn ist, ubertra- 
gen. Als Antwort kann der 'Voice Browser 13 das \foiceXMLrDokument "mainmenu.vxml". vom \foiceXML-Server 36 
anfordem. 

[0036] Entsprechend kann in einem \ttceXML-fonnatierten Dokument eine Formatierungskennung Nachste Auswahl 
40 ("choice next") verwendet werden, urn die zu ladenden Ziel-\foiceXML-Inhalte zu spezifizieren, wenn ein Benutzer 
sprachlich eine bestumnle Auswahl in dem \biceXML-Dokument trifft. fjblicberweise werden die Ziel-Web-Inbalte 
durch eine URL-Adresse ("URL") in der Kennung "choice next" spezifizierL In der bevorzugten Ausfuhrungsart kann 
ein Attn but "cooext", das Web-Inhalte spezifiziert, in der Kennung "choice next" zusatzlicb zu den Zie L- Vbi ceXML-In- 
balten eingebettet sein. Es folgt ein Beispiel einer Kennung "choice next", die ein A tin but "conext" enthalt: 

45 



50 



55 
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IS 



<vxml version='l . Q m > 

<f orm name = "Wi 1 Ikommen * > 

<block>willkommen bei der Co-Browsing- 
Demonstration! "* *~ 

<goto next="#l*/> 
</block> 
</f orm> 
<menu id=*l*> 

<prompt>Sagen Sie zur Authentif iziemng 

des Benutzers 'Test* . </prompt> 
< grammar type= - text / j sgf - > 20 

continue 
< /grammar > 

<choice next = 'mainmenu . vxml * 25 
conext= 'mainmenu . html * > 
test 

</choice> 30 
</menu> 
</vxml> 

35 

[0037] Wic im obigen Bcispiel gezeigt, umrasst der Hyperlink, der durcb die Kennung "next" spezifiziert ist, sowohl 
einen Verweis auf ein Ziel-\biceXML-Dokument, das durch "mainmeou.vxml" spezifiziert ist, als aucb einen Vbrweis 
auf eine Co-Ziel-Webseite, die durch "rnainrnenuJitrnl" spezifiziert ist Wfenn der Voice Browser 13 auf dieses "next" 
trifft, kann der Nfcrice Browser 13 das VbiceXML-Dokument "main menu. vxml" vom Sprach-Scrver 36 anfordem. Dar- 
iiber hinaus kann der Voice Browser 13 den Bezug "conext" identifizieren und deo Bezug an den Visual Browser 12 Doer- 40 
tragen. Der Voice Browser 13 kann den Bezug an den Visual Browser 12 unter Verwendung eines veroffeotlicbten API- 
Funktioosaufrufs des Visual Browsers 12 ub ertrag cn, um eine Web-Seite durch die URL der Web-Seite aufzurufen, z. B. 
die Funktion HTTP "Open". Der Visual Browser 12 kann wiederum die Web-Seite "mainmenu.html" vom Web- Server 
26 anfordem. 

[0038] Bedeutsarnerweise ist die vornegeode Erfindung rricht nur auf die Kc<3rdinafiottsfccnianerungsattribute "href" 45 
und "conext" beschrankL £s steben vielmehr eine Anzahl an Koordiriafionsformafiemngsattributen fur die Verwendung 
in dem Visual Browser 12 und dem \foice Browser 13 zur Koordinierung der Akrionen des Visual Browsers 12 mit den 
Aktionen des Vfotce Browsers 13 zur Verfugung. Genauer gesagt konnen die Attribute in zwei Kategorien aufgeteilt wer- 
den. Erstens konnen Attribute Akrionen refiektieren, die an der Quelle eines Ereigmsses auftreten, wic etwa das A us w ab- 
ler) eines Sprachmenueintrags, das NfervoUstandigcn eines Sprachfonnulars oder das Klicken auf einen visuelleo Link 50 
oder eine Schaltnache. Zweitens konnen Attribute Aktionen refiektieren, die am Ziel eines Ercignisses auftreten konnen, 
wie etwa das Aufsuchen eines Sprachkorpcrs, -menus oder -formulars, oder das Anzeigen eines visuellen Dokuments 
oder eines Ankers in einem Dokument Es ist anzumerken, dass Koordmarionsfcrniatiemngsattribute im Hinblick auf 
den Visual Browser 12 definiert werden konnen, die standardmaBig nicbt Teil der HTML-Spezifikation sind. Folglicb 
konnen diese mcht standardmaBigen Attribute in einem anpassbaren Visual Browser, der einen entsprecbend erweiterten 55 
Kennungsattributsatz besitzt, definiert werden. In der bevorzugten Ausfuhrungsart stellt die folgende labelle die bevor- 
zugten Koordinadoasformatierungsattribute zur Verwendung in dem Visual Browser 12 und dem Voice Browser 13 der 
voriiegenden Erfindung dan 

60 
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An der Quelle 


Am Ziel 


5 


Voice 
Browser 


<goto next = "URL" conext=*URL*> 


<menu covisi t= "URL"> 






<choice next="URL* c onext = m URLT'V 

• 


<Torm covisit="URL' r > 


10 




<form action=*URIi" 
coaction=*URL*> 






Visual 


<a href=*URL* cohref =*URL"> 


<body covisi t= "URL"> 


15 


Browser 










<f orm action='URL»" 


<form covisit="URL~> 






coaction- "URL"> 




20 






<a id="id" 
covisit=*URL"> 



[0099] Izn Hinblkk auf den Voice Browser 13 spezifiziert "cooext" die anzuzeigeode URL fur den Visual Browser 12, 
25 wean ein zugeboriges sprachheh spczjfipcrtcs "goto" oder cine Menuauswabl durcb eineo Benutzer ausgewahlt wild. 
"Coaction" spezifiziert fur deo Visual Browser 12 die anzuzetgeode URL, wenn ein zugeboriges Spracbformular vervoll- 
standigt wuzde. SchlieShch spezifiziert "covisit" fur deo Visual Browser 12 die aufzusuchende URL, wenn ein zugebo- 
riges Sprachelement aufgesucht wird. Ebenso wie beim Visual Browser 12 spezifiziert "cohrer fur den Voice Browser 13 
die aufzusuchende URL, wens ein zugehdriger visueUer Lank oder eine Schaltflache ausgewahlt wird. "Coacnon" spezi- 
30 fiziert fur den Voice B r ow s er 13 (be aufziisoch eodc URL, wenn ein zugeboriges visuelles Formular abgescbickt wurde. 
SchneSlich spezifiziert "covisit" fur den Vfoice Browser 13 die *»fyiK"r4w^A» URL, wenn ein zugeboriges visuelles Do- 
cument geladen wird oder ein visueUer Anker dargestellt wird. 

[0040] Es ist anzumcrkeo, dass so wool die visueUen als aucb die Sprachinhalte in einem einzelnen, zusammengesetz- 
ten netzbasierten Dokument entbalten sein kooneo. Im Fall eines zusammengesetzten netzbasierten Dokuments koonen 
35 sowohl der Voice Browser 13 als aucb der Visual Browser 12 das zusammengesetzte Dokument syntaktisch analysieren 
und die darin entbaltenen Inbalte darstellen, die fur die Darstellung in dem jeweiligen Browser geeignet sindL Darubcr 
binaus kann sowohl der Voice Browser 13 als aucb der Visual Browser 12 in dem zusammengesetzten Dokument die je- 
weils durch "cohref 1 und "cooext" spezifizierten elektrooiscben Inbalte identifizieren. Es folgt ein Beispiel eines zusam- 
mengesetzten Dokuments: 

40 

<HTML> 

<HEAD><TITLE> Co -Browsing -Demonstration SBU- 
eingebetteter Forinatieirungszeichen</TITIiE></HEAD> 

45 

<vxml version="l . 0"> 

50 <f orm name = " Wi 1 1 kommen * > 

<bloc}c>Willkontmen bei der SBU Multi- 
Modus-Browser-Demonstration 1 

55 <goto next= "#!-/> 
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</block> 
</form> 
<menu id= * 1 * > 

<prompt>Sagen SicT zur 

Benu t zerau then t i f i z i erung 

"Test* -</prompt> 

<grammar type= " text / j sgf * > 
continue 



</choice> 
</menu> 
</vxml> 



10 



15 



<choice next = 'nainmenu . vxml " 

conext= # mainmenu . html "> 20 



25 



30 



35 



<BODY LEFTMARGIN= • 0 - TOPMARGIN= " 0 * > 
<A HREF= "mainmenu . html " 
cohref = *mainmenu . vxml * > 

<IMG SRC=*splashscreen. jpg" WIDTH 3 14 " 
HEIGHT="200*/> 
</A> 40 
</BODY> 
</HTML> 

(0041] Fig. 3 veranschaulicht einen Mulri- Modus-Browser 150 zur Impleroenti erung des Verfahrcns der Erfindung. 45 
Wie aus der Hgur ersichtiich ist, kano ein Multi-Modus-Browser 150 gernafi den crnodungsgemaBen Aoordnungen drei 
verse hi edeoe Kompooenteu umfassen: einen Visual Browser 120, einen Voice Browser 130 und eine Kopplungsschnitt- 
stelle 100 zur Kopphing des Voice Browsers 130 mil dem Visual Browser 120 durch Verwalien der Synchronisation zwi- 
scben den beiden Browsem. Zusatzlich kann der Multi-Modus- Browser 150 eine Steuerroutine fiir zeitkriusche Ereig- 
nisse 140 zur Verarbeitung zeitkritischer Irifonnauooeo wie etwa Statusinformationen eioschlieBen. Bedeutsamerweise 50 
sind die Komponenten Visual Browser 120 und Voice Browser 130 unabhangjg. Jede interpretiert ihren eigenen Forma- 
tierungssteuerzeictienstrorn, um einern Benutzer 160 unahhangige aber zueinander komplementare Inform ationen darzu- 
stellen. Gemafl dem Vertahreo der Erfindung konnen die Browser miteinander durch die Kopplungsschnittstelle 100 ei- 
nen Dialog fuhren. 

[0042] In der bevorzugten Ausruhrungsart des MuLti-Modus-Browsers 150 ist der Visual Browser 120 ein Java-basier- 55 
ter Mikro- Browser, der fur die Ausruhrung in einer eingebetteten Umgebung entworfen wurde. Der Mikro-B rowser kann 
mit Hilfe von VisualAge* for Embedded Systems 0 der IBM Corporation of Armonk, New York, implement! ert werden. 
VisualAge for Embedded Systems erganzt die Java-BenutzerschmttsteUenunterstutzung mit der Anzeigetechnologie De- 
gas 9 . Degas ist insbesondere eine Javabasterte Entwicklungsumgebung, die zum Erstcllen GUIcingcbettetcr Anwendun- 
gen zur Ausruhrung auf dem eingebetteten Betriebssystem QNX Neutrino verwendet wird. Degas kann dazu verwendet 60 
werden, BUdschirmanzeigen zu erstellen, die einzigartige gran sc be Ansichten und ein realistisches 3D-Aussehen und - 
Verbal Len besitzen. Genau gesagt kann ein En twi elder, der das Degas-Geriist verwendet, visuelle Elemente fur eine Ziel- 
einbeit konstruieren, die Klassen, die solche Elemente implementieren, in Unterklassen unterteilen, und einen GUI- 
Schnittstellen-Prototyp en tw erf en, der sole be Elemente verwendet 

[0043] Der Mikro-B rowser kann die Degas-Klasse Standardapplikationen (DefaultApplication) erweitem und ein 65 
HTML-Aiisicht-/ControUer-Paar als Erweiterung der Degas- Klassen Standardansicht (Default View) bzw. Standardcon- 
troller (Def au ItController) implementieren. Der HTML-ControUer kann Benutzerereignisse von der Anzeige an die Mi- 
kro-B rowser- An wendung weitergeben, die wiederum die HTML-Ansicbt aktualisieren kann. Eine detailliertere Erorte- 
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rung des Degas -Geriists findet sich in GUI Navigation in Embedded Automotive Systems, von Kern Ann Ham berg und 
Brian Neat hitp'J I www.tr a drsspeak com/htmldocs/2030.html (tradespeak 2000), das durcb die Bezugnahme Bestandteil 
dieses Patents isL 

[0044] In Fig. 3 ist die Steuerroutme fur zeitkritiscbe Ereignisse 140 eine weitere Kompooente des Mulu-Modus- 

5 Browsers 150. Che Steuerroutine fur zeitkritiscfae Ereignisse 140 kann auf einem IP-Port Formatierungssteuerzeichen 
empfangen, die entweder an den Visual Browser 120, den Voice Browser 130 oder an beide uber die Kopplungsschnitt- 
s telle 100 weitergeleitet werden konnen. Das ForrnadenmgssteueneTcbe^dntspricht zeitkritiscben Informarionen (hier 
als Statusinformationen bezeichnet), die die aktuelle Anwendung unterbrecben konnen. Um zu-bestimrnen,-welcher --=-. 
Browser die Statusinformationen anzeigen soil, umfasst das Formatierungssteuerzeichen vorzugsweise einen Inhalts- 

to Typ, oder MIME-Typ, der sich im Kopf des Dokuments, das das mit dem Formatierungssteuerzeichen enthalt, benndcL 
Gemafi der Konventioo folgen zwei leere Zeilen auf den Innalls-iyp, entweder oberhalb der Anfangskennung des 
HTML- oder oberhalb des VXMI^Dokuments. In der bevorzugten Ausfuhiungsart enthalt das Forma tierungssteuerzei- 
cben, das Statusinformationen enthalt, die von dem Multi- Modus-Browser 150 empfangen werden, vorzugsweise einen 
Inhalts-Tvp VXML, CHTML oder EVXML. 

is [0045] Beim Betrieb kann der Benutzer 160, basierend auf einer Benutzerinteraktion mit Spracb- oder visuellen Inhal- 
ten, zu einer neuen Adresse navigieren. Beam Obergang eines jeden Browsers von einer URL zu einer anderen kann sich 
der eine Browser mit dem anderen Browser uber die Kooiulnationsfonnanerungsatmbute, die zu den jeweiligen Forma- 
tierungsspracben hinzugefugt sind, beam Durchsucben kocnlinieren. Diese Elementattribute konnen den Browser arjwei- 
sen, den anderen Browser zu rjenachrichtigen, wenn eine kompl erne n tare URL ("co-URL**) aufgesucht werden soil. 

20 Wenn der Benutzer 160 z_ B. einen Lank im Visual Browser 120 auswahlt, sucht der Visual Browser 120 die URL der vi- 
suellen Seite auf, die durcb den Link spezifiziert wild. Um den *vbice Browser 130 anzuweasen, die entsprecnende 
Sprachseite aufzusucnen, kann can Amvendungscntwickler ein Attribut "co visit" hinzufugen, das die URL der ge- 
wunscbten Sprachseite zur HTML- Anker oder -Fonmalar-Kcnnung in der visuellen Seite en thai L Analog sucht der Voice 
Browser die URL der Sp rach se ue auf, die dutch den Link spezifiziert wird, wenn der Benutzer 160 cmcn T ink im Voice 

25 Browser 130 auswahlt. Um den Visual Browser 120 anzu we is en, die entsprecnende visuelle Seite aufzusuchen, kann der 
Anwendungsentwickkr can Attribut "comeou**, "cofocm" oder "conext" hinzufugen, das die URL der gewunschten visu- 
ellen Seite zur VXML-Kennung in der Sprachseite enthah 

[0046] Somit kann jede Biowscrkonipcocnte (Voice und Visual) ihren Fonnaderungssu^jerzeicbenstrom interpretieren 
und ihrcn eigenen Obergang von einem Dokument oder Dokumentdement (URL) zu einem anderen Dokument oder Do- 

30 kumentelement i********* Die Dok unmik fa menie enthahen Fonnatierungsartribute, die die Obergange eines jeden 
Browsers auf den anderen an Punkteu, die durcb den Anwendungsentwickkr gewahlt werden, synchronisieren. 
[0047] Somit konnen die Kooru^nationsformaneru^ z. B. die Kennungen "cohref und 'conext", zur Kopp- 

lung eines Visual B r o w se rs an einen Voice Browser verwendet werden, ohne eine umfassende Anderung einer der beiden 
zu erfordern. Die Iiihaltsfonnarierungssteuerzekiien selbst konnen vielmehr als Kopplungsagent agieren. Somit kann, 

35 wenn z. B. ein Benutzer auf eine visuelle Anzeige einer Abbildung in einem Visual Browser mit der Mans klickt, eine 
Kennung "co-target**, die zur Abbildung gehort, einem 'Voice Browser anzeigen, dass er die der Abbildung zugeordneten 
Audioinhalte laden und abspielen solL Umgekehrt kann ein *vbice Browser einen Benutzer auffordem, den Namen eines 
geografischen Orts auszusprcchen, fur den der Voice Browser Zusatziriformationen akusnsch zur Vferfugung stellen 
kann. Als Antwort auf den Empfang der Spracneingabe, die einen geografischen Ort bezeichnet, kann eine Kennung "co- 

40 target" , die zur SrjracnaufTorderung gebort, einem Visual Browser anzeigen, dass er eine Karte des Orts des angegebenen 
geografischen Orts laden und anzeigen solL 

Paten tanspriicbe 

45 1. Verfahren zum gleichzeitigen Zugreifen auf netzbasierte elektronische Inhalte in einem Voice Browser und ei- 

nem Visual Browse]; das folgende Schritte umfasst: 

Abrufen eines netzbasierten Dokuments, das fur die Anzeige im Visual Browser formatiert ist; 
Identifizieren eines Bezugs auf den Voice Browser in dem abgerufenen Dokument, wobei der Bezug elektronische 
Inhalte, die fur die akustische Darstellung im Voice Browser formatiert sind, spezifiziert; und 
50 ubermitteln des Bezugs an den Voice Browser; 

Abrufen der spezifiziert en elektronischen Inhalte durcb den Voice Browser und akustische Darstellung der elektro- 
nischen Inhalte im Voice Browser, 

visuelle Darstellung des netzbasierten Dokuments durcb den Visual Browser gleichzeitig mit der akustiscben Dar- 
stellung. 

55 2. Verfahren gemafi Anspruch 1, bei dem das netzbasierte Dokument, das fur die visuelle Darstellung im Visual 

Browser formatiert ist, ein HTML-formatiertes Dokument ist und der Visual Browser ein Web-Browser isL 

3. Verfahren gemafi Anspruch 1, bei dem die elekrronischen Inhalte, die fur die akustische Darstellung im \bice 
Browser formatiert sind, V^iceXML-formatierte elektronische Inhalte sind. 

4. Verfahren gemafi Anspruch 2, bei dem der Bezug ein Koordinalionsformatierungsatlribul isL 

60 5. Verfahren gemafi Anspruch 1 , bei dem der Bezug ein netzbasiertes Dokument spezifiziert, das die elektronischen 

Inhalte enthalt, die fur die akustische Darstellung im Voice Browser formatiert sind, wobei der Voice Browser das 
speziftzierte netzbasierte Dokument uber das Computerkommunikalionsnetz abrufen und die elektronischen In- 
halte, die in dem spezifizierten netzbasierten Dokument en thai ten sind, akustisch darstellen kann, wahrend der Vi- 
sual Browser das netzbasierte Dokument, das fur die visuelle Darstellung formatiert ist, visuell darstellen kann. 

65 6. Verfahren zum gleichzeitig en Zugreifen auf netzbasierte elektronische Inhalte in einem Voice Browser und ei- 

nem Visual Browser, das Folgendes umfasst: 

Abrufen eines netzbasierten elektronischen Dokuments, das fur akustische Darstellung im Voice Browser formatiert 
ist; 
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Ideotifizieren ernes Bezugs auf den Visual Browser in dem abgerufenen Dokument, wobei der Bezug die elektroni- 
scben Inhalte, die fur die visuelle Darstellung im Visual Browser formatiert sind, spezifiziert; und 
Ubcrrmtieln des Bezugs an den Visual Browser; 

Abrufen der spezifizjerten elektronischen Inbalte durch den Visual Browser und visuelle Darstellung der elektroni- 
schen Tnh attp. im Visual Browser, 5 
akustische Darstellung des netzbasierten Dokuments durch den Voice Browser gleichzeitig mil der visuellen Dar- 
stellung. " 

7. Vferfahren gemaB Anspruch 6, bei dem das netzbasierte Dokument, das fur die akustische -Darstellung im Voice 
Browser formatiert ist, ein Voi ceXML-Dokument ist. 

8. Vcrfahren gemaB Anspruch 6, bei dem die elektromscbcn Inhalte, die fur die visuelle Darstellung im Visual to 
Browser formatiert sind, HTMI^formatierte elektrooiscne Inhalte sind und der Visual Browser ein Web-Browser 

ist. 

9. Vcrfahren gemaB Anspruch 6, bei dem der Bezug ein netzbasiertes Dokument spezifiziert, das die elektronischen 
Inhalte enthali, die fur die visuelle Darstellung im Visual Browser formatiert sind, wobei der Visual Browser das 
spezifizierte netzbasierte Dokument Obex das Computerkommunikation snetz abrufen und die elektronischen In- is 
halte, die in dem netzbasierten Dokument enthalten sind, visuell darstellen kann, wahrend der Voice Browser das 
netzbasierte Dokument, das fur die akustische Darstellung formatiert ist, akustisch darstellen kann. 

10. Maschinenlesbarer Speicner; auf dem ein Cocnputerprogramm zum gleichzeitigen Zugreifen auf netzbasierte 
elektjonische Inhalte in einem Visual Browser und einem Voice Browser gespeichert ist, wobei das Computerpro- 
gramm eine Vielzahl von Codeabschmtten besitzt, die durch cine Maschine ausfuhrbar sind, urn die Maschine zur 20 
Durchfuhrung der folgenden Schritte zu veranlassen: 

Abrufen eines netzbasierten Dokuments, das fur die Anzeige im Visual Browser formatiert ist; 

Ideotifizieren eines Bezugs auf den Vfcice Browser in dem abgerufenen Dokument, wobei der Bezug eletoroniscbe 

Inhalte.. die fur die akustische Darstellung im Vbtce B ro w ser formatiert sind, spezifiziert; und 

Ubenmtieln des Bezugs an den Vfoice Browser; 25 
Abrufen der spezifizjerten ek kiiwi scneo Inbalte durch den Vfeice Browser und akustische Darstellung der elektro- 
nischen Tnhaltg im Voice B r o wse r; 

visuelle Darstellung des netzbasierten Dokuments durch den Visual Browser gleichzeitig mit der akustiscben Dar- 
stellung. 

11. MaschirjcniesbareT Spcicher gemaB Anspruch 10, bei dem das netzbasierte Dokument, das fur die visuelle Par- 30 
stelhmg im Visual Browser formatiert ist, ein HTMLrDokument ist und der Visual Browser ein Web-Browser isL 

12. Maschinenlesbarer Speicner gemaB Anspruch 10, in dem die elektronischen Inhalte, die fur die akustische Dar- 
stellung im Voice Browser formatiert sind, VfokxXMLformatierte elektrooiscne Inbalte sind. 

13. Maschinenlesbarer Speicner gemaB Anspruch 11, bei dem der Bezug ein Koordmationsformauerungsattribut 

ist. 35 

14. Maschinenlesbarer Speicner gemaB Anspruch 10, bei dem der Bezug ein netzbasiertes Dokument spezifiziert, 
das die elektronischen Inhalte enthali, die fur die akustische Darstellung im Voice Browser formatiert sind, wobei 
der Voice Browser das spezifizierte netzbasierte Dokument fiber das Computerkommunikaiionsnetz abrufen und die 
elektronischen Inhalte, die in dem spezifizierten netzbasierten Dokument e nth a] ten sind, akustisch darstellen kann, 
wahrend der Visual Browser das netzbasierte Dokument, das fur die visuelle Darstellung formatiert ist, visuell dar- 40 
stellen kann. 

15. Maschinenlesbarer Speicner, auf dem ein Computerprogramm zum gleichzeitigen Zugreifen auf netzbasierte 
eiektionische Inhalte in einem Visual Browser und einem Voice Browser gespeichert ist, wobei das Computerpro- 
gramm eine Vielzahl von Codeabschrritten, die durch eine Maschine ausfuhrbar sind, besitzt, urn die Maschine zur 
DuichfuhniDg der folgenden Schritte zu veranlassen: 45 
Abrufen eines netzbasierten Dokuments, das fur die akustische Darstellung im Voice Browser formatiert ist; 
Identifizieren eines Bezugs auf den Visual Browser in dem abgerufenen Dokument, wobei der Bezug die elektroni- 
schen Inhalte, die fur die visuelle Darstellung im Visual Browser formatiert sind, spezifiziert; 

Uberrnitteln des Bezugs an den Visual Browser; 

Abrufen der spezifizierten elektroniscben Inhalte durch den Visual Browser und visuelle Darstellung der elektroni- SO 
schen Inhalte im Visual Browser, 

akustische Darstellung des netzbasierten Dokuments durch den Voice Browser gleichzeitig mit der visuellen Dar- 
stellung. 

16. Maschinenlesbarer Speicner gemaB Anspruch 15, bei dem das netzbasierte Dokument, das fur die akustische 
Darstellung im Voice Browser formatiert ist, ein VoiceXML- forma tiertes Dokument isL 55 

17. Maschinenlesbarer Speicner gemaB Anspruch 15, bei dem die elektronischen Inhalte, die fur die visuelle Dar- 
stellung im Visual Browser formatiert sind, HIMLformatierte elektronische Inhalte sind und der Visual Browser 
ein Web-Browser ist, 

18. Maschinenlesbarer Speicner gemaB Anspruch 15, bei dem der Bezug ein netzbasiertes Dokument spezifiziert, 

das die elektronischen Inhalte en thai t, die fur die visuelle Darstellung im Visual Browser formatiert sind, wodurch 60 
der Visual Browser das spezifizierte netzbasierte Dokument fiber das Computerkommunikationsnetz abrufen und 
die elektronischen Inhalte, die in dem spezifizierten netzbasierten Dokument enthalten sind, visuell darstellen kann, 
wahrend der Voice Browser das netzbasierte Dokument, das fur die akustische Darstellung formatiert ist, akustisch 
darstellen kann. 

19. Ein Multi-Modus-Browser, der Folgendes umfassL 65 
ein en Visual Browser zur visuellen Darstellung vis ue Her Inhalte, die von einem Computerkommunikationsnetz ab- 
gerufen wurden; 

einen Voice Browser zur akustiscben Darstellung von Sprachinhalten, die von dem Computerkommunikationsnetz 
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abgerufen wurden; und 

eine Kopplungsschnittstelle zur Synchronisation der visucllen und akustischen Darstellung der vi sue lien und der 
Sprachinhaite in jedem der jewciligen Visual bzw. Voice Browser. 

20. Multi-Modus-Browser gemaB Ansprucb 19, bei dem die visuellen Inbalte HTML-formatierte Inhalte und die 
Sprachinhaite VcnceXML- forma tierte Inhalie sind. 

21. Mu lti -Modus-Browser gemaB Anspruch 19, der des Weiteren umfassL 
eine Steuerroutine fur zeitkritiscbe Ereignisse, ~~ 

wo bei die Steuerroutine fur zeitkritiscbe Ereignisse zeitkritiscbe Inhalte empfangt, -= — 

die Steuerroutine fur zeitkritische Ereignisse in den zeitkritischen Inhalten einen Inhalts-Typ-Indikator idenofiziert, 
die Steuerroutine fur zeitkritiscbe Ereignisse die zeitkritiscben Inhalte an den Visual Browser wcitericitct, wenn der 
Inhalts-Typ-Indikalor visuelle Inhalte anzeigt, 

die Steuerroutine fur zeitkritiscbe Ereignisse die zeitkritiscben Inhalte an den Voice Browser weiterleitet, wenn der 
Innalts-iyp-Indikator Sprachinhaite anzeigt 

22. \ferfahren zum Andern eines netzbasierten Dokuments zur Unterstutzung des gleichzeitigen Zu griffs auf oetz- 
basierte Spracb- und visuelle Inhalte in einem \bice Browser und einem Visual Browser, das die folgenden Schritte 
umfasst: 

Integrieren von visu e lten Inhalten in ein netzbasiertes Dokument; 

Formatierea des netzbasierten Dokuments fur die visuelle Darstellung in einem Visual Browser, und 
Einfugen von nrindestens einer Fonnancrungskertnung in das netzbasierte Dokument, wobei die Formanerungsken- 
nung ein KooidinadonsfonnatienmgsatSzibut cnthalt, das ein netzbasiertes Dokument spezifiziert, das fur die aku- 
stische Darstellung in einem Voice Browser formatiert ist, 

wodurch der Visual B rowser bo der Wi cdcrgabe des netzbasierten Dokuments, das fur die visuelle Darstellung for- 
matiert ist, das Kc<vdinatk)nsforrnatiexiMigsam^but in der Forrnatierungskennung identifizieren und einen Bezug 
auf das spezifizierte netzbasierte Dokument an dec Voice Browser ubertragen kann, was den Voice Browser veran- 
lasst, das spezifizierte netzbasierte Dokument abzurufen und es gleichzeitig mit der visuellen Darstellung des netz- 
basierten Dokuments, das fur die visueUe Darstellung in dem Visual Browser formatiert ist, akustisch darzustellen. 

23. Vfcrfahren gemaB Anspruch 22, bei don das netzbasierte Dokument, das fur die visuelle Darstellung in einem 
Visual B r ow se r formatiert ist, ein HTML-fctmatierfies Dokument ist, und der Visual Browser ein Web-Browser isL 

24. Vferrahrcn gemaB Ansproch 22, bei dem das ne t jtmsir Jt e Dokument, das fur die akusrische Darstellung in einem 
Nfcace Browser formatiert ist, em VakxXML-fbrmarjertes Dokument ist und der Voice Browser ein VfoiceXML- 
Browser ist_ 

25. Vfcrfahren zum Andem eines netzbasierten Dokuments zur Unterstutzung des gleichzeitigen Zugriffs auf netz- 
basierte Spracb- und visuelle Tnhalte in einem Voice Browser und einem Visual Browser, das die folgenden Schritte 
umfasst: 

Integrieren von Spractnnhalten in ein netzbasiertes Dokument; 

Formaderen des netzbasierten Dokuments fur die akusrische Darstellung in einem Voice Browser, 
Einfugen von mindestens einer Forrnatierungskennung in das netzbasierte Dokument; 

wobei die Forrnatierungskennung ein Koordinanonsformarierungsattribut enthalt, das das netzbasierte Dokument 
spezifiziert, das fur die visuelle Darstellung in einem Visual Browser formatiert ist, 

wodurch der Voice Browser bei der Wiedergabe des netzbasierten Dokuments, das fiir die akustiscne Darstellung 
formatiert ist, das Koccth^iadorisformatierungsanribut in der Forrnatierungskennung identifizieren und einen Bezug 
auf das spezifizierte netzbasierte Dokument an den Visual Browser ubertragen kann, was den Visual Browser ver- 
anlagst, das spezifizierte netzbasierte Dokument abzurufen und das spezifizierte netzbasierte Dokument gleichzeitig 
mit der akustischen Darstellung des netzbasierten Dokuments, das fur die akusrische Darstellung in dem Voice 
Browser formatiert ist, visuell darzustellen. 

26. Vferfahren gemaB Anspruch 25, bei dem das netzbasierte Dokument, das fur die visuelle Darstellung in einem 
Visual Browser formatiert ist, ein HTML-formatiertes Dokument ist und der Visual Browser ein Web-Browser ist 

27. Vfcrfahren gemaB Anspruch 25, bei dem das netzbasierte Dokument, das fur die akustiscne Darstellung in einem 
Voice Browser formatiert ist, ein VsiceXML- formati ertes Dokument ist und der Voice Browser ein Voice XML- 
Browser ist 
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